зсС 


УДК 519.816 


В.Є. Снитюк, Г.М. Гнатієнко 

Черкаський державний технологічний універистет, м. Черкаси, Україна 
Група компаній «Верес», м. Київ, Україна 

зпукуцк(єтаї!.сот, С.СпайепКо(Фуегез.сот ма 


Оптимізація процесу оцінювання в умовах 
невизначеності на основі структуризації 
предметної області та аксіоми незміщеності 


У статті описано аспекти та елементи технології процесу оцінювання, атрибутами якої є об'єктивізація 
суб'єктивних суджень, повнота та швидкість його проведення. Базовими елементами запропоновано вважати 
аксіому незміщеності та процедуру структуризації предметної області, що базується на її онтології. 
Застосування першого елемента дозволяє здійснювати оцінювання в умовах невизначеності, а другого -- 
оптимізувати сам процес оцінювання. Наведено приклад застосування такої технології. 


Вступ 


Відомо, що «життя -- це процес прийняття рішень» |1). Рішень, які належать одному 
експерту або групі експертів, які приймаються щоденно або один раз у житті, які мають 
локальні або глобальні наслідки (катастрофи, зміни суспільного устрою, визначальні для 
великих людських популяцій тощо). Процеси прийняття рішень 1, зокрема оцінювання, 
супроводжують людину на всіх етапах її життєвого циклу. Природно, що вона прагне 
оптимізувати як самі рішення, так 1 процес їх прийняття. 

Часто ці рішення приймаються в умовах невизначеності, пов'язаної із сукупністю 
різного роду причин. Людина прагне мінімізувати ризики, зумовлені наслідками процесів 
прийняття рішень. Досягнути цього вона намагається, використовуючи певні прогнос- 
тичні процедури, що дозволяє частково заповнити інформаційний вакуум -- створити рет- 
роспективу, яка є передумовою прийняття рішень, а також використовуючи оцінювання 
на її ж базі. Таким чином, очевидно, що процес прийняття рішень вимагає структуризації, 
і вона є тим більш необхідною, чим вищим є рівень апріорної невизначеності. 

Оцінювання є однією із складових процедур прийняття рішень. Зауважимо, що 
значна кількість методів оцінювання розроблена 1 досліджена в монографії (2). Виб- 
равши за основу класифікації активність об'єкта оцінювання, будемо вважати, що 
існують задачі пасивного оцінювання, де реалізується відображення: 

«об'єкт»-»««експерт»-» оцінка», 
та активного оцінювання: 
«експерт?-» о0б'єкт»-» "-експерт»-» оцінка». 

У першому випадку мають місце задачі ранжування об'єктів за значеннями їх 
характеристик, наприклад, автомобілів за об'ємом двигуна. Інші задачі виникають 
при визначенні компетентності експертів чи проведенні контролю знань студентів, 
де передбачається активна участь суб'єктів оцінювання. 

Для першого випадку тривіальними є задачі, в яких об'єкт визначається лише 
однією характеристикою, і складнішими є задачі, в яких кількість таких характе- 
ристик є значною. Оцінювання індивідів є комплексною задачею, яка може розв'язу- 
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ватись за умов детермінованості, часткової або повної невизначеності. У даній статті 
буде запропоновано використання процедури оптимізації процесу оцінювання індивідів 
за умови повної невизначеності шляхом структуризації предметної області та засто- 
сування аксіоми незміщеності. 


Аналіз передумов ефективного процесу оцінювання 


Визначимо передумови, що супроводжують процес експертного оцінювання. 
Розділимо їх на два класи. До першого належать атрибути процесу оцінювання. Про- 
понуємо вважати такими повноту та швидкість його проведення, а також об'єкти- 
візацію суб'єктивних тверджень та висновків. 

Повнота оцінювання є передумовою встановлення вірної оцінки. У нашому випадку 
під повнотою будемо розуміти такий атрибут, який вказуватиме на рівень охоплення 
предметної області, концентрованим виразом якого є база питань, та алгоритмічну реалі- 
зацію процесу оцінювання, що передбачає відсутність інформаційної надлишковості та 
інформаційної недостатності. 

Швидкість оцінювання - важлива характеристика, яка вказує на оптимальність 
алгоритмічної організації процесу та відсутність зайвих кроків. 

Об'єктивізувати суб'єктивні судження можна уніфікувавши процедуру оціню- 
вання, що є нетривіальною проблемою, через різнорідність кроків алгоритму та можли- 
вих питань, застосувавши автоматизовану технологію обробки суджень та виконавши 
редукцію різнорідних елементів до однієї схеми. 

Другий клас визначають процедури оптимізації процесу оцінювання. До них 1 
належить використання аксіоми незміщеності для здійснення алгоритмізації процесу 
оцінювання та структуризації предметної області, що дозволяє встановити в т.ч. і 
причинно-наслідкові відношення між фактами, релевантними даній предметній області. 

Детальніше зупинимось на цих процедурах. Аксіома незміщеності формулюється 
так: «Судження більшості компетентне» |3|. Звичайно, таке твердження можна нама- 
гатись заперечувати, зокрема згадуючи твердження геніїв, які «випереджали» свої епохи 1 
які не сприймались суспільством. Водночас зауважимо, що суспільний розвиток відбу- 
вався у напрямку, який визначала більшість (у демократичних країнах), а історія не знає 
категорії припущень (а що було б, якби..?). Наслідком аксіоми незміщеності є твердження 
про те, що найбільш компетентним (у найбільш широкому сенсі цього поняття) є той 
експерт, судження якого у найбільшій кількості випадків збіглися з судженнями біль- 
шості експертів. Останній висновок можна переформулювати: найбільш компетентним є 
той експерт, розбіжність суджень якого з судженнями інших експертів є мінімальною. 
Зауважимо, що такий факт має місце за умови відсутності будь-яких зовнішніх обмежень. 
Реалізація наслідку буде запропонована нижче. 

Структуризацію предметної області будемо здійснювати на основі онтології. За 
означенням |4| онтологія є трійкою елементів 


О-«Р,В,І», (1) 


де Р- множина понять, К- відношення між поняттями, І- інтерпретація цих 
відношень. Побудова (2 є достатньо складною самостійною задачею, надалі ми розгля- 
немо її окремі аспекти. Вважатимемо, що онтологія предметної області вже побудована. 
Далі у статті наведено основні елементи, які визначають композицію алгоритмізації 
оцінювання 1 результат структуризації предметної області. 

Таким чином, задача полягає у розробці технології оцінювання, в якій буде 
передбачено уніфікацію процедур визначення оцінки та оптимізацію цього процесу. 
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Алгоритмізація процесу оцінювання 
на базі аксіоми незміщеності 


Основні елементи схеми оцінювання на базі аксіоми незміщеності запропоно- 
вано у |2|, (5|. У цих роботах оцінювання індивідів здійснюється на основі спеціальної 
бази знань, яка містить базу питань, базу відповідей та множину правил, що дозволяє 
надалі уніфікувати процес оцінювання та розрахувати оцінки. 

На першому етапі процесу оцінювання формуємо базу питань та базу відповідей. 
Алгоритмічно це реалізуємо таким чином. 

Крок 1. Нехай загальна кількість питань, які можуть бути використані для оціню- 
вання індивіда, є п. 

Крок 2. Встановити, що питання класифікують у залежності від відповідей на них: 
«Так-Ні», «Одна із декількох», «Декілька із багатьох», «Число», «Інтервал», «Нечітке 


число», «Слово», «Речення». Нехай кількість питань кожного типу є т, і -- 1,8. 
Крок 3. Формувати базу питань і відповідей таким чином: 
1-й тип. Поле 1: «Питання»; Поле 2: «Відповідь» з (Так, НІ); Поле 3: «Варіанти» з 10, 1). 
2-й тип. Поле 1: «Питання»; Поле 2: «Відповідь» з | В, В.,..., В, ., де В. - і-й варіант 


відповіді, і - 1,6 Поле 3: «Варіанти» з 10, 0, 1, 0,..., 0), де 1 означає правильну відповідь, 
кількість нулів -- К- І. 
3-Й тип. Поле 1: «Питання»; Поле 2: «Відповідь» з | В., В.,..., В, , де В. - і-й варіант 


К 
відповіді, 1 - 1,К; Поле 3: «Варіанти» з | с, (15.50, |, Де ПІ, Є (0,1), Уа, ще: 
ізі 

4-й тип. Поле 1: «Питання»; Поле 2: «Число» з К ; Поле 3: «Варіанти» з(ає К). 

5-й тип. Поле 1: «Питання»; Поле 2: «Відповідь» з (|Число 1, Число 21); Поле 3: 
«Варіанти» з (Га, є К, а, є К |). 

6-й тип. Поле 1: «Питання»; Поле 2: «Відповідь» з ((число І, число 2, число 3, 
число 4, число 5)) (для трапецієподібної функції належності); Поле 3: «Варіанти» з 
а, є Ка, є В.о, є Ка, є Ка. є |0,11)). 

7-й тип. Поле І: «Питання»; Поле 2: «Відповідь» з (слово); Поле 3: «Варіанти» з 


К 
(слово 1 - а , слово 2 - (,,..., СЛОВО К - С), Уа -1, а, є (0,1). 
ізі 
8-й тип. Поле 1: «Питання»; Поле 2: «Відповідь» з (речення); Поле 3: відсутнє. 
Крок 4. Базовим елементом для проведення подальших досліджень є матриця, в яку 
зібрані бали, що є оцінками відповідей на питання, причому кращій оцінці відповідає 
більший бал (число з |0, 1). Важливо пам'ятати, що максимальна оцінка за відповідь не 
повинна перевищувати одиниці. Таким чином, маємо матрицю, елементи якої визна- 
чаються за |2|, |5 (табл. 1). 


Таблиця 1 - Вихідні дані для оцінювання 


Питання 
1 2 3 ..| т 

че 1 ви б а зе Віт 
Е 
зу 2 Ра Р» Ві г В 
з Ви Во Віз -е Ви 
ш 

п бін В в уз 
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Крок 5. Надалі користуємось припущенням, що всі питання є рівнозначними 1 
всі відповіді на них приведені до |0, 1|-шкали. Тоді для кожного питання знаходимо 
матрицю відстаней (близькості), яка є трикутною: 


а 
т 4 і пн 
44, 4 м 
де 44 -|8, - Вр іо, 21. 


Очевидно, що чим більшим є значення а/, тим більше відповідь 1-го експерта 
відрізняється від відповіді ( -го експерта. Оскільки в загальному, більшому значенню 
рівня компетентності відповідає менше значення відхилення, то раціональним здається 
розглядати величини, обернені до 4. Але значна їх частина дорівнюватиме нулю, і 
це створюватиме додаткові перешкоди для аналізу. 

Крок 6. Додавши матриці Т", одержимо матрицю 


2 м 

уні 

г.Ї Ха Ха 
їні їні 


т 


т т 

/ я / 
ра РАС 99 У 
узі узі чі 


Крок 7. Для кожного експерта розрахуємо допоміжне значення (абсолютний рі- 
вень некомпетентності): 


біо). Уадтеїя 


ї«К 
аеГгум(каЇ) 


Крок 8. Величини д, нормуємо і знаходимо відносні рівні некомпетентності: 


Крок 9. Залишається обчислити значення рівнів компетентності: 
у 21-д;. 


Таким чином, задача оцінювання розв'язана. 


Основні аспекти структуризації предметної області 


Алгоритмізація та формалізми, запропоновані у попередньому розділі, не дають 
відповіді на питання оптимізації процесу оцінювання. Спробуємо запропонувати певні 
логіко-алгоритмічні елементи, які дозволяють підвищити його ефективність. 
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Процес оцінювання може мати в основі три схеми проведення: індуктивну, 
дедуктивну та комбіновану. Інтерпретація першої з них: «Знати основне і знати 
часткове, тоді припустити, що загальне теж відоме, але не перевіряти». Дедуктивна 
схема: «Знати основне і знати загальне, тоді припустити, що часткове теж відоме, 
але не перевіряти». Комбінований варіант: «Знати основне та випадковим чином 
перевірити знання елементів загального 1 часткового». У різних задачах оцінювання 
можуть бути використаними усі три схеми. Значною мірою такий вибір залежить від 
суб'єкта та об'єкта оцінювання. 

Відповідно до схеми проведення оцінювання необхідно сформувати логічну схему 
оцінювання. Вона формально матиме структуру графа «І-АБО», де у вершинах захо- 
дитимуться питання, дуги будуть вказувати на можливі переходи. Крім того, надбу- 
довою над логічною схемою буде певна алгоритмічна процедура, яка працюватиме 
за принципом переривань. Цією процедурою визначатиметься необхідність закін- 
чення контролю та розрахунок оцінки. 

В основу формування логічної схеми покладемо онтологію предметної області. 
Розробити онтологію може досвідчений експерт (найчастіше експерт з цієї предмет- 
ної області), використовуючи свої знання, досвід та інтуїцію. Така розробка є надто 
трудомісткою, і для того, щоб прискорити створення онтології і не втратити в якості, 
необхідно цей процес частково оптимізувати. Пропонуємо такий алгоритм. 

Крок 1. Визначити базовий документ, в якому міститься опис предметної області. 
Це можуть бути нормативні документи, енциклопедична інформація, книги, підруч- 
ники, електронні конспекти та інші першоджерела. 

Крок 2. Припустити, що основними поняттями є іменники, та виконати частот- 
ний аналіз зустрічі іменників у тексті. Основні поняття міститимуться серед іменни- 
ків, які зустрічатимуться найчастіше. Виконати вилучення зайвих слів і сформувати 
множину понять Р. 

Крок 3. Продовжуючи аналіз тексту, визначити відношення між поняттями, а 
також між поняттями та доповненнями. Для цього для кожного поняття формуємо 
множину дієслів ЕК, з якими воно зустрічається найчастіше. 

Крок 4. Відповідно до множини К формуємо множину інтерпретацій. 

Крок 5. Використовуючи сформовану онтологію, розробити базу питань і від- 
повідей. 

Враховуючи обмежений обсяг статті, наведемо лише один простий приклад. 

Розглянемо навчальний курс «Основи системного аналізу об'єктів та процесів 
комп'ютеризації». Закономірно, що в процесі аналізу тексту відповідного підру- 
чника |6| встановлено, що одним із основних понять є «системний аналіз». Релевант- 
ним до нього відношенням, що зустрічається в тексті, є відношення «є». Воно, наприклад, 
є елементом речення: «Системний аналіз є науково-практичною методологією дослід- 
ження складних систем». Інтерпретуємо відношення «є» як означення. Тоді від- 
повідне питання першого типу могло б бути таким: «Чи правда, що системний аналіз 
є науково-практичною методологією розв'язання складних проблем?» Зауважимо, 
що частина речення після «є» взята з іншого визначення. 

Питання другого типу: «Системний аналіз є (і варіанти відповідей): а) методологією 
формування проектних рішень; Б)методологією дослідження складних систем; 
с) методологією вирішення складних проблем; 4) ідеологією розробки складних систем». 

Відповідності, розглянуті вище, можуть бути розробленими для всієї предметної 
області. На розсуд особи, що приймає рішення, відносимо формування логічної схеми. 
Зауважимо, що вона повинна бути такою, щоб найвища оцінка відповідала найпов- 
нішому знанню предметної області. 
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Встановлення невідомого значення параметра 
експертами, рівні компетентності яких невідомі 


Розглянемо ще одну задачу, розв'язання якої здійснюється експертами, рівні 
компетентності яких є невідомими. Необхідно встановити невідоме значення одного 
із параметрів системи. Нехай а - і є це невідоме значення, кожний експерт 


Е, із І п, стверджує, що це значення дорівнює с. Необхідно знайти найбільш 


достовірну оцінку значення 2 , якщо компетентності експертів невідомі. Алгоритм 
розв'язання цієї задачі є таким. 

Крок 1. Для кожного експерта розрахуємо сумарне значення відхилення його 
варіанта відповіді від значень відповідей інших експертів: 


п 
б,- Ма, т 
ізі1 


Крок 2. Очевидно, що компетентність експерта потрібно визначати за формулою: 


п ра з Хинк 
чі 


2, 


І віп. 


Крок 3. Знайшовши значення а , одержуємо остаточне значення компетентності: 


мб не п й 
У р Муза 
Че Ма)-а, 


ізі 


Крок 4. Оцінку невідомого значення а розраховуємо як середньозважену за ком- 
петентностями величину оцінок експертів: 


п 
реа Дах 
узі 


Проведені експерименти, результати моделювання і порівняльний аналіз такого 
підходу із результатами методу «дискримінаторів ступенів свободи» |7| засвідчили ряд 
тенденцій та переваги розробленої процедури. 


Висновки 


Значна кількість різного роду експертних систем, які використовуються у тому 
чи іншому вигляді для оцінювання і набули значного поширення на ринку, не 
відповідає сучасному рівню інтелектуалізації програмно-алгоритмічних засобів. 
Найчастіше відсутньою є аргументація про повноту проведеного оцінювання, у 
більшості випадків не передбачено дострокового припинення оцінювання за тих чи 
інших обставин, організаційно-логічну структуру процесу оцінювання взагалі важко 
пояснити. 

У статті запропоновано підхід, який дозволяє вирішити ці проблеми і побудувати 
методологію створення експертних систем для проведення різного роду експертиз та 

оцінювання компетентності, визначення кваліфікації, здійснення контролю знань і т.п. 
Він базується на попередній структуризації предметної області, розробленому алгоритмі 
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аналізу різнорідних відповідей експертів та логічній схемі проведення процесу оціню- 
вання. І якщо алгоритм безпосередньо придатний до використання, то структуризація 
предметної області повинна здійснюватись експертами, а логічну схему оцінювання роз- 
робляє особа, що приймає рішення. Останні дві процедури є не простими і більш детальна 
методологія їх розвитку ще залишається актуальною науковою задачею. 
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В.Е. Снитюк, Г.М. Гнатиенко 

Оптимизация процесса оценивания в условиях неопределенности на основе структуризации 
предметной области и аксидмьт несмещенности 

В статье описано аспектьт и злементьт технологий процесса оценивания, атрибутами которой являются 
обьективизация субьективньх суждений, полнота и скорость его проведения. Базовьтіми злементами 
предложено считать аксиому несмещенности и процедуру структуризации предметной области, которая 
базируєтся на ее онтологий. Применениє первого злемента позволяєт осуществлять оцениваниє в 
условиях неопределенности, а второго - оптимизировать сам процесс оценивания. Приведен пример 
применения такой онтологий. 
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